Draw & Dance: Voice-controlled AR Assistant

Authors Info & Claims

We introduce an Augmented Reality (AR) assistant that reacts to your voice, music and sound. The user can draw and place stick figures in the environment that will dance to the music and respond to specific commands. The stick figure characters can also augment a Google Home by taking its place on top of the speaker and moving in response to the rhythm of the music. They will also change their accessories and clothing depending on the genre of the music, play instruments or change their dancing style. We explore how voice UI may benefit from a visual component that re-enforces a mental model for otherwise structureless interactions. The lack of a visual representation of voice assistants can make the adoption and learning curve slower. Our system can help to discover capabilities of a physical tethered device that otherwise would be imperceptible. We present the first system that embodies a voice-controlled speaker using an AR smart avatar.

声や音楽、音に反応するAR（Augmented Reality：拡張現実）アシスタントを紹介します。ユーザーは、音楽に合わせて踊り、特定のコマンドに反応する棒人間を描いて環境内に配置することができます。また、棒人間のキャラクターは、Google Homeのスピーカーの上に乗って、音楽のリズムに反応して動くことで、Google Homeを拡張することができます。また、音楽のジャンルによってアクセサリーや服装を変えたり、楽器を演奏したり、ダンススタイルを変更したりします。我々は、音声UIが、構造化されていないインタラクションのメンタルモデルを再強化する視覚的要素からどのように恩恵を受けるかを探求している。音声アシスタントの視覚的な表現がないため、導入と学習曲線が遅くなる可能性があります。私たちのシステムは、物理的なテザリングデバイスの機能を発見するのに役立ちますが、そうでなければ知覚することはできません。我々は、ARスマートアバターを使用して音声制御スピーカーを具現化した最初のシステムを提示します。